Graph Neural Networks (GNNs) have shown great potential in the field of graph representation learning. Standard GNNs define a local message-passing mechanism which propagates information over the whole graph domain by stacking multiple layers. This paradigm suffers from two major limitations, over-squashing and poor long-range dependencies, that can be solved using global attention but significantly increases the computational cost to quadratic complexity. In this work, we propose an alternative approach to overcome these structural limitations by leveraging the ViT/MLP-Mixer architectures introduced in computer vision. We introduce a new class of GNNs, called Graph MLP-Mixer, that holds three key properties. First, they capture long-range dependency and mitigate the issue of over-squashing as demonstrated on the Long Range Graph Benchmark (LRGB) and the TreeNeighbourMatch datasets. Second, they offer better speed and memory efficiency with a complexity linear to the number of nodes and edges, surpassing the related Graph Transformer and expressive GNN models. Third, they show high expressivity in terms of graph isomorphism as they can distinguish at least 3-WL non-isomorphic graphs. We test our architecture on 4 simulated datasets and 7 real-world benchmarks, and show highly competitive results on all of them.
translated by 谷歌翻译
Information on the grass growth over a year is essential for some models simulating the use of this resource to feed animals on pasture or at barn with hay or grass silage. Unfortunately, this information is rarely available. The challenge is to reconstruct grass growth from two sources of information: usual daily climate data (rainfall, radiation, etc.) and cumulative growth over the year. We have to be able to capture the effect of seasonal climatic events which are known to distort the growth curve within the year. In this paper, we formulate this challenge as a problem of disaggregating the cumulative growth into a time series. To address this problem, our method applies time series forecasting using climate information and grass growth from previous time steps. Several alternatives of the method are proposed and compared experimentally using a database generated from a grassland process-based model. The results show that our method can accurately reconstruct the time series, independently of the use of the cumulative growth information.
translated by 谷歌翻译
逐渐的模式提取是数据库中(KDD)知识发现中的一个字段,该领域将数据集的属性之间的相关性映射为逐渐依赖性。逐渐的依赖性可以采用“较高的属性k,较小的属性L”的形式。在本文中,我们提出了一种使用概率方法来学习和提取频繁逐渐模式的蚂蚁菌落优化技术。通过对现实世界数据集的计算实验,我们将基于蚂蚁的算法的性能与现有的渐进项目集提取算法进行了比较,我们发现我们的算法表现优于后期,尤其是在处理大型数据集时。
translated by 谷歌翻译
本文介绍了更轻松的项目及其范围的概念概述。更轻松地专注于通过半自治的移动操纵器在灾难反应方案中支持紧急部队。具体来说,我们检查了操作员对系统的信任以及其使用所产生的认知负荷。我们计划讨论不同的研究主题,探讨共享的自主权,互动设计和透明度与信任和认知负担如何相关。另一个目标是开发非侵入性方法,以使用多级方法在灾难响应的背景下连续衡量信任和认知负荷。该项目由多个学术合作伙伴进行,专门从事人工智能,互动设计和心理学,以及灾难响应设备的工业合作伙伴和最终用户,用于制定项目和实验实验。
translated by 谷歌翻译
最近的一些研究测试了变压器语言模型表示的使用来推断文本到语音综合(TTS)的韵律特征。尽管这些研究总体上探讨了韵律,但在这项工作中,我们专门研究了对对比的个人代词的预测。这是一项特别具有挑战性的任务,因为它通常需要语义,话语和/或务实的知识才能正确预测。我们收集包含对比焦点的话语语料库,并评估了BERT模型的准确性,该模型的准确性是在这些样品上预测量化的量化声学突出特征。我们还研究了过去的话语如何为该预测提供相关信息。此外,我们评估了以声音突出特征为条件的TTS模型中代词突出性的可控性。
translated by 谷歌翻译
我们介绍了DeepNash,这是一种能够学习从头开始播放不完美的信息游戏策略的自主代理,直到人类的专家级别。 Stratego是人工智能(AI)尚未掌握的少数标志性棋盘游戏之一。这个受欢迎的游戏具有$ 10^{535} $节点的巨大游戏树,即,$ 10^{175} $倍的$倍于GO。它具有在不完美的信息下需要决策的其他复杂性,类似于德克萨斯州Hold'em扑克,该扑克的游戏树较小(以$ 10^{164} $节点为单位)。 Stratego中的决策是在许多离散的动作上做出的,而动作与结果之间没有明显的联系。情节很长,在球员获胜之前经常有数百次动作,而Stratego中的情况则不能像扑克中那样轻松地分解成管理大小的子问题。由于这些原因,Stratego几十年来一直是AI领域的巨大挑战,现有的AI方法几乎没有达到业余比赛水平。 Deepnash使用游戏理论,无模型的深钢筋学习方法,而无需搜索,该方法学会通过自我播放来掌握Stratego。 DeepNash的关键组成部分的正则化NASH Dynamics(R-NAD)算法通过直接修改基础多项式学习动力学来收敛到近似NASH平衡,而不是围绕它“循环”。 Deepnash在Stratego中击败了现有的最先进的AI方法,并在Gravon Games平台上获得了年度(2022年)和历史前3名,并与人类专家竞争。
translated by 谷歌翻译
当今最先进的机器学习型号几乎无法审查。解释性方法的主要挑战是通过揭示导致给定决定的策略,通过表征其内部状态或研究基础数据表示来帮助研究人员开放这些黑匣子。为了应对这一挑战,我们开发了Xplique:一种用于解释性的软件库,其中包括代表性的解释性方法以及相关的评估指标。它与最受欢迎的学习库之一接口:Tensorflow以及其他图书馆,包括Pytorch,Scikit-Learn和Theano。该代码是根据MIT许可证获得许可的,可在Github.com/deel-ai/xplique上免费获得。
translated by 谷歌翻译
我们提供了一个理论框架来研究我们称之为单发概括的现象。这种现象是指算法在单个任务中执行转移学习的能力,这意味着它正确地对训练集中具有单个示例的测试点进行了分类。我们提出了一个简单的数据模型,并使用它以两种方式研究这种现象。首先,我们证明了一种非反应基碱线 - 基于最近的邻分类的内核方法无法执行单发概括,而与核的选择无关,并且训练集的大小。其次,我们从经验上表明,我们数据模型最直接的神经网络体系结构几乎完美地执行了单发概括。这种鲜明的差异使我们相信,单发概括机制是对神经网络的经验成功的部分原因。
translated by 谷歌翻译
变形AutiaceCoder(VAE)是一种强大的深度生成模型,现在广泛地用于通过以无监督方式学习的低维潜在空间来表示高维复杂数据。在原始VAE模型中,输入数据向量独立处理。近年来,一系列论文呈现了VAE的不同扩展来处理顺序数据,这不仅模拟了潜在空间,还可以在数据向量和对应的潜在矢量序列内模拟时间依赖性,依赖于经常性神经网络或状态空间模型。在本文中,我们对这些模型进行了广泛的文献综述。重要的是,我们介绍并讨论了一种称为动态变化自动化器(DVAES)的一般模型,包括这些时间VAE扩展的大的子集。然后我们详细介绍了最近在文献中提出的七种不同的DVAE实例,努力使符号和演示线均匀化,以及将这些模型与现有的经典型号联系起来。我们重新实现了那些七种DVAE模型,我们介绍了在语音分析 - 重新合成任务上进行的实验基准的结果(Pytorch代码被公开可用)。本文得出了广泛讨论了关于DVAE类模型和未来研究指南的重要问题。
translated by 谷歌翻译
用于图形组合优化问题的神经网络溶剂的端到端培训,例如旅行销售人员问题(TSP)最近看到了感兴趣的激增,但在几百节节点的图表中保持棘手和效率低下。虽然最先进的学习驱动的方法对于TSP在培训的古典索引时与古典求解器密切相关,但它们无法通过实际尺度的实际情况概括到更大的情况。这项工作提出了一个端到端的神经组合优化流水线,统一几个卷纸,以确定促进比在训练中看到的实例的概括的归纳偏差,模型架构和学习算法。我们的受控实验提供了第一个原则上调查这种零拍摄的概括,揭示了超越训练数据的推断需要重新思考从网络层和学习范例到评估协议的神经组合优化流水线。此外,我们分析了深入学习的最近进步,通过管道的镜头路由问题,并提供新的方向,以刺激未来的研究。
translated by 谷歌翻译